"""
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的框架。
可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

【工具】anaconda

安装
    pip install scrapy

    
1 创建爬虫项目（在终端中输入命令）
    scrapy startproject 项目名称

2 创建爬虫源代码文件
    在spiders文件夹下创建爬虫源代码文件

    创建爬虫文件的命令（cmd命令）
    scrapy genspider 爬虫名 爬虫源代码文件的url
    例：
        scrapy genspider baiduSpider www.baidu.com

3 运行爬虫代码
    scrapy crawl 爬虫名
    例：
        scrapy crawl baiduSpider


scrapy项目目录结构

    项目名
        spiser文件夹
            __init__.py
            自定义代码文件       核心功能文件
        __init__.py
        items.py                定义数据结构的地方 爬取的数据都包含哪些
        middlewares.py          中间件 比如实现代理就在这里写
        pipelines.py            管道 管道是处理爬取到的数据的地方
        settings.py             配置文件 比如UA和robots协议就是在这里配置的
    scrapy.cfg


scrapy项目中 response的属性和方法
    1  response.text --------------------- 获取的是响应的字符串
    2  response.body --------------------- 获取的是响应的字节流 是二进制
    3  response.url ---------------------- 获取的是响应的url
    4  response.request ------------------ 获取的是请求的响应
    5  response.headers ------------------ 获取响应的headers
    6  response.status ------------------- 获取响应的status
    7  response.meta
    8  response.css()
    9  response.xpath() ------------------ 可以直接在该方法内写xpath语句
    10 response.extract() ---------------- 提取selector对象的data属性值
    11 response.extract_first() ---------- 提取selector列表的第一个属性值
"""
